Chức vô địch Cup Winners' Cup là thành công cuối cùng của Chelsea trong thập kỷ đó, nhiều vấn đề nảy sinh khiến câu lạc bộ gần như ngã gục. Từ đầu những năm 1970, kỷ luật của câu lạc bộ bị xuống cấp nghiêm trọng Sexton không hài lòng với một vài cầu thủ trụ cột, nổi bật nhất là Osgood, Hudson và Baldwin về thái độ cũng như lối sống của họ. Tinh thần đội bóng đi xuống kéo theo đó là những kết quả trên sân. Chelsea thiết lập hai kỷ lục trong quá trình bảo vệ chức vô địch Cup Winners' Cup năm 1971–72: chiến thắng 21–0 sau hai lượt trận trước đội bóng của Luxembourg Jeunesse Hautcharage, hiện vẫn là kỷ lục của các giải đấu châu Âu.[33] Cùng với chiến thắng 13–0 trên sân nhà trước Jeunesse, đó là tỉ số cao nhất trong lịch sử của Chelsea. Tuy nhiên, đội bóng bị loại bởi đội bóng ít tên tuổi Åtvidabergs FF sau luật bàn thắng sân khách ở vòng đấu tiếp theo.

Cũng trong mùa giải đó, Chelsea bị loại khỏi FA Cup bởi đội bóng Second Division Leyton Orient dù đã dẫn trước 2–0, và để thua trong trận chung kết League Cup trước đội bóng bị đánh giá thấp hơn Stoke City. Mùa 1972–73 bắt đầu với chiến thắng 4–0 trước Leeds và câu lạc bộ xếp thứ tư trên bảng xếp hạng vào tháng Mười hai, nhưng sau trận thua 3–0 sau hai lượt trận trước Norwich City tại bán kết League Cup thì mùa giải coi như thất bại, Chelsea chỉ thắng 5 trong 21 trận đấu cuối tại giải quốc gia, kết thúc ở vị trí thứ 12. Mùa tiếp theo họ đứng vị trí thứ 17. Sự thù hằn giữa Sexton và Osgood cũng như Hudson lên đến đỉnh điểm sau trận thua 4–2 trên sân nhà trước West Ham United và Ngày tặng quà 1973, sau khi Chelsea đã vươn lên dẫn trước 2–0 sau hiệp một;[34] bộ đôi bị bán vài tháng sau đó. Sexton bị sa thải vào đầu mùa giải 1974–75 sau khởi đầu yếu kếm, và được kế nhiệm bởi người trợ lý, Ron Suart, nhưng cũng không thể cứu vớt được đội bóng và câu lạc bộ bị xuống hạng năm 1975.

Việc xây dựng tiên phong Khán đài phía Đông (vẫn còn trên sân vận động ngày nay) là một phần trong kế hoạch xây dựng sân vận động với 60,000 chỗ ngồi khiến cho câu lạc gặp tai họa. Dự án được miêu tả là "tham vọng nhất từ trước đến nay tại Anh Quốc".[35] Do diễn ra trong đúng cuộc khủng hoảng kinh tế thế giới và bị chậm trễ do đình công và thiếu nguyên vật liệu, moị chi phí trở lên mất kiểm soát, khiến câu lạc bộ phải chịu món nợ £4 triêu năm 1977.[36] Kết quả là từ tháng 8 năm 1974 tới tháng 6 năm 1978, Chelsea chủ thể mua bất cứ một cầu thủ nào. Sự suy yếu của đội bóng cũng dẫn đến việc giảm số lượng cổ động viên tới sân – những người còn lại lại bị mang tiếng bởi sự bạo lực của một bộ phận cổ động viên Chelsea (ranh giới giữa nhiệt huyết và hooligan rất mong manh trong thời kì đó). Cuối những năm 1970 và những năm 1980 chứng kiến sự tăng cao của hooligan bóng đá tại Anh Quốc; trong vấn nạn rộng rãi đó, phân từ hooligan Chelsea trở lên đặc biệt nổi tiếng và kiến câu lạc bộ tàn lụi trong suốt những năm đó.[37]

Giữa nhưng năm 1970, cổ động viên Chelsea "tham gia vào... nhiều vụ bạo lực, phá hoại và gây rối chung".[38] Tại Luton Town, các cổ động viên Chelsea tràn xuống sân, đập vỡ cửa sổ các các cửa trên đường trở lại ga Luton, rồi đốt pháo trên chuyến tàu Football Special, kết quả là hơn 100 người bị bắt.[38] Trong trận đấu với Charlton Athletic tại The Valley năm 1977, các cổ động viên Chelsea đốt lửa trên nóc khán đài. Mùa 1976–77, cả hai trận đấu gặp Millwall, một câu lạc bộ khác có thành phần hooligan đông đảo, đều bị ảnh hưởng bởi bạo lực khán đài.[39][40] Các hooligan khiến Bộ trưởng Thể thao Denis Howell cấm các cổ động viên Chelsea tới các trận sân khách tháng 4 năm 1977 – một lệnh tương tự với các cổ động viên Manchester United – dù vậy hàng nghìn cổ động viên Chelsea đã bất chấp lệnh cấm để tới sân xem trận đấu với Wolverhampton Wanderers.[41]

Cựu hậu vệ trái Eddie McCreadie trở thành huấn luyện viên trưởng một thời gian ngắn trước khi Chelsea xuống hạng năm 1975, sau một mùa 1975–76 củng cố, đã dẫn dắt đội bóng lên hạng mùa 1976–77 với một đội hình gồm các cầu thủ trẻ, nổi bật nhất là Ray Wilkins và tiền đạo ghi 24 bàn Steve Finnieston, cùng với các cựu binh đã có thời gian dài thành công trước đó Cooke, Harris và Bonetti. Nhưng McCreadie rời đi sau khi tranh chấp hợp đồng với chủ tịch Brian Mears về một chiếc xe công[42] và một cựu cầu thủ khác được bổ nhiệm, lần này là cựu hậu vệ phải Ken Shellito.

Shellito giúp Chelsea trụ lại First Division mùa 1977–78, với điểm sáng của mùa giải là chiến thắng 4–2 trước nhà vô địch châu Âu Liverpool tại FA Cup. Shellito từ chức giữa chừng khi mùa giải sau đó câu lạc bộ chỉ thẳng ba trận tại giải quốc gia trước Giáng sinh. Sự trở lại trong một thời gian ngắn của Osgood cải thiện một chút tình hình. Kế nhiệm Shellito là cựu đội trưởng giành cú đúp danh hiệu cùng Tottenham Hotspur Danny Blanchflower cũng không thể vực dậy đội bóng xuống hạng một lần nữa khi chỉ giành được năm chiến thắng và để thua tới 27 trận, mở ra một thời kỳ tối tăm nhất trong lịch sử Chelsea.

Wilkins, một trong những ngôi sao hiếm hoi còn lại, được bán cho Manchester United và người hùng tuyển Anh tại chung kết World Cup 1966 Geoff Hurst trở thành huấn luyện viên vào tháng 9 năm 1979 với Bobby Gould làm trợ lý. Sự xuất hiện của họ cả thiện phong độ Chelsea ngay lập tứ, một thời gian dài Chelsea đứng đầu bảng xếp hạng Second Division, nhưng sự sa sút ở những vòng đấu cuối khiến Chelsea chỉ giành được vị trí thứ tư, bỏ lỡ suất lên hạng do thua về hiệu số bàn thắng. Mùa giải tiếp theo câu lạc bộ gặp khó trong việc ghi bàn, trong chín trận đấu không ghi được một thắng nào, chỉ thắng có 3 trong số 20 trận và kết thúc ở vị trí thứ 12 mùa 1980–81.[43] Hurst bị sa thải.

Năm 1981, Mears từ chức chủ tịch, kết thúc 76 năm của gia đình ông tại câu lạc bộ. Một trong những động thái cuối cùng của Mears là bổ nhiệm cựu huấn luyện viên Wrexham John Neal làm huấn luyện viên. Một năm sau, Chelsea Football & Athletic Company, ngập trong nợ nần và không thể trả lương cho cầu thủ, một doanh nhân và là cựu chủ tịch Oldham AthleticKen Bates đã mua lại quyền lợi từ gia đình Mears với giá tượng trưng 1 bảng, vì lý do đó vẫn còn tranh chấp, ông đã không mua SB Properties, công ty sở hữu toàn quyền sử Stamford Bridge. Đến thời điểm này, Chelsea đang ở trong một tình trạng tài chính bấp bênh và phải trả 12.000 bảng một tuần.[44] Bates sau đó đã miêu tả thứ mà ông đã mua về như "một câu lạc bộ xã hội có một chút bóng đá thi đấu vào ngày thứ Bảy".[4]

Mùa 1981–82, lại là mùa giải đáng quên khác khi Chelsea chỉ kết thúc ở vị trí thứ 12, Chelsea bước vào trận đấu quan trọng đầu tiên tại FA Cup gặp nhà vô địch châu Âu Liverpool tại vòng năm. Họ đã vượt trội đối thủ lừng lẫy và giành chiến thắng 2–0. Tại tứ kết, họ lại gặp lại đối thủ cũ Tottenham, trong một trận cầu sôi động, để thua 3–2, dù Chelsea vươn lên dẫn trước nhờ Mike Fillery. Mùa giải 1982–83 có thể được coi là tệ nhất trong lịch sử câu lạc bộ. Sau khởi đầu tươi sáng, đội đi xuống đáng kể, chín trận đấu không biết thắng lợi khi mà mùa giải gần khép lại và đối mặt với nguy cơ xuống Third Division, cùng với vấn đề tài chính của câu lạc bộ, điều đó có thể khiến kết liễu đội bóng. Trong trận đấu áp chót của mùa giải gặp đối thủ Bolton Wanderers, Clive Walker ghi bàn thắng quyết định từ khoảng cách 25 thước Anh (23 m) giúp câu lạc bộ giành chiến thắng 1–0. Trận hòa trên sân nhà với Middlesbrough trong trận đấu cuối cùng đã giúp Chelsea thoát hiểm với hai điểm nhiều hơn nhóm xuống hạng.